查看原文
其他

如何制作一份有效的影响力表现报告|测量与评估

SSIR中文版 斯坦福社会创新评论 2022-05-18





 导读
  Foreword




如何提供一份更有效的影响力表现报告?本文的作者这样发问。这意味着,在其看来,已有的影响力报告往往并不那么有效。那么,问题出在哪儿?文章的作者认为,影响力投资需要的不仅仅是关于影响力的“证据”,更需要动态的、流动的、迭代的、持续的“影响力表现”数据。那些静态的、拙于反应影响力“表现”的报告是不那么有效的。那么,我们一定会关心,到底如何才能改进?对此问题,本文也给出了有针对性的建议。





在一个透明度越来越高的世界里,我们期望标签上的文字能够直接反映出包装里的内容。盒装鸡蛋上的“有机、无笼”标签是如此,“共益企业认证”或被归类为“ESG”的基金亦是如此。这些词汇向买方传达了特殊的意义。它们的可信度取决于标签上的内容是否与产品本身一致。





在过去的五年里,影响力投资取得巨大的发展。如今,有超过40万亿美元的资产被归类为ESG。伴随着这一发展,关于如何衡量和管理影响力的工作也明显增加。这项工作是至关重要的,它将使投资者能够用资本来创造出最大的改变,并使投资者和公司能够以管理财务和运营表现的严格程度来管理影响力表现。


近年来,从IMP的五个影响力维度到IRIS+指标和IFC运营原则,影响力投资领域在发展“更好、更易获得、更加透明的影响力”讨论方式上取得了突破性进展。




表现有什么特别之处?

What’s Special About Performance?



随着影响力报告逐渐成为主流,影响力投资领域也越来越认识到他们需要努力实现一流的“影响力表现”。从历史上看,影响力往往被视为非此即彼的,即要么正在发生,要么没有发生。如果一项干预措施被认为是“有影响力的”(这样的结论往往来自于学术研究),典型的做法是把这个影响力问题视作“已解决”,那么公司就不需要提供额外的数据来确认它实际上正在创造的影响力。





这种方法虽然很吸引人,看起来也很切实,但从本质上来说是有缺陷的。要了解原因,请想一想我们对人类学习和发展的共同理解的转变,这种转变是由于引入了“固定”和“成长”思维模式的概念。


这部由心理学家卡罗尔·德威克(Carol Dwyck)推广的著作表明,我们对个人身份和能力(例如,我们的智力、人格、道德)最基本的信念决定了我们学习、成长和进步的能力。


那些拥有“固定”思维模式的人认为,智力是静态的。他们更在意让自己看起来聪明能干,因此他们倾向于避免挑战,遇到困难时更容易放弃,并忽视有用的负面反馈。相反,那些拥有“成长”思维模式的人认为智力是可以发展的,所以他们更有可能接受挑战,在面对障碍时坚持下去,并在批评中学习。







如果我们认识到我们需要的不仅仅是影响力的“证据”,即某种固定的、被证明过一次的、要么存在要么不存在的东西,那么影响力投资也有类似的跃进的潜力。我们还需要持续的、动态的、流动的、可迭代的“影响力表现”数据,这样我们才能扩大我们的影响力。当我们把这两者混为一谈时,我们往往会出错。


每当我们认为我们已经发现了各种特定干预措施(小额贷款、改进的学校课程)的影响力的“真相”时,我们就会发现“固定型”影响力思维模式的局限性。


当然,发现显示干预措施有效的研究是有帮助的。但是,仅仅依靠研究并将其结果应用于(某种程度上)类似的干预措施,却忽略了一些重要的东西:影响力表现的差异是公司的具体行动、产品或服务的具体特征以及公司在当地环境中与客户互动的具体方式的结果。如果依赖“这种产品或服务(总是)为客户创造这么多影响力”的静态定义,这些差异将无法被看见。








然而,公认的最佳做法是在影响力上打上“是”的勾,然后将“经证实的”影响力变量应用于标准运营数据。这可以创造出巨大的影响力数字,但这种太过常见的方法有一个基本的且有缺陷的前提,即假设整个类别的干预措施(例如,给各地的每个人提供的小额贷款)从影响力的角度来看基本上是一样的,应该被这样对待。


相比之下,影响力表现的思维模式的基础是,每项干预措施在每个地方和每个时间点都会产生不同的影响力。此外,这些差异几乎总是大到值得我们关注。无论是在影响力方面还是在任何其他领域,了解表现的差异性都是改进的前提条件。


例如,想象一下,同一国家的两个不同供应商的两笔消费贷款。一个是简单的数字交易,而另一个有重要的社区支持和配套服务。如果我们发现第二项贷款对客户的财务福祉和赋权有持续的更大更持久的效果,那么我们就学到了一些关于如何分配资源以产生最大影响力的重要知识。







无论是作为经营者还是投资者,我们的工作都不是说“我们支持向被边缘化人群提供贷款,并且这就是这类贷款的典型影响力”。相反,我们的工作是通过区分那些在特定类别中创造了巨大影响力的人和那些表现平平的人,以此来确定最佳表现者。


所有类型的社会干预措施都存在于一个动态的环境中,不能像我们这样盲目地从单一的轶事或研究中进行泛泛地推断。我们永远不会假设每家超市、航空公司或在线市场的每一个销售单位都有相同的运营和财务比率。然而,我们却认为,在一个地方和一个时间点上,一个经过充分研究的影响力的干预措施可以代表全球所有的此类干预措施。







从理论到实践

From Theory to Practice



这些听起来都很有道理,但与目前公认的做法相差甚远。


目前的做法是剥夺了影响力测量的所有实际资源,从而迫使实践者将实用主义放在首位。在这种限制下,我们争先恐后地找出我们最容易产生的数据,并试图从这些数据中推断出潜在的影响力。






例如,考虑到最近GIIN的题为“理解影响力表现:包容性金融投资”的报告,人们期望这样一份报告能够围绕以下两点展开:



(1)对小额信贷或金融技术组织的客户而言,影响力的类型;


(2)作为一份“表现报告”,它能够让人们了解包容性金融影响力投资者和金融包容性公司的相关影响力表现。



不幸的是,它没有实现这两个目标。


关于第一个目标——关于工作影响力的报告对小额信贷客户来说重要吗?报告实现的怎么样?不是十分重要。想要知道为什么,请想象一下一个简单的做法,问一下低收入的小额信贷客户,他们为什么向某一特定的小额信贷机构借款或者是储蓄。


这些客户可能会告诉你,他们希望有更多的存款(这样他们就可以进行更多的投资),更好地抵御金融冲击,或者将来能够送孩子上学;或者他们希望通过发展小企业增加收入;或者也许他们渴望在家庭财务决策中拥有更多的发言权。







然而,GIIN金融包容性影响力“表现”报告中的指标不包括这类简单的、客户层面的影响力指标。事实上,在报告中的28个“影响力”指标中,只有5个指标与这些基本的客户结果有一点关系。


这是由于,典型的情况是,报告立足于现成的数据,例如,发放的贷款数量或以当地货币提供的贷款百分比,并试图从这些数据中推断出(潜在的)客户层面的结果。但是,虽然一个小额信贷组织发放的贷款数量确实给人一种触手可及的感觉,但它没有告诉我们我们真正关心的事情:在这个时间段,小额信贷贷款对MFI的这些客户的影响力是什么?


那么,我们在GIIN报告中得到的是一个非常有用的“产业状况”快照,它帮助我们了解该产业的规模、平均贷款规模、风险投资组合,以及关于谁在接受服务的一些数据。这些都是非常有参考价值的。几乎没有一个是“影响力表现”。


要成为影响力表现报告,至少要做到以下几点:


以受影响的利益相关者(客户、员工、地球)的影响力优先事项为基础。


至少有一些直接从这些利益相关方收集的影响力表现数据,以及拥有能够对比从事相同或类似活动的不同企业或社会企业基金的相关影响力表现的数据。









我们公开的秘密:

零星的影响力数据


Our Open Secret: 

Spotty Impact Data



根据这份报告,GIIN的观点是继续走我们目前的道路:收集企业能够产出的运营指标,并利用优化的初级研究将这些数据转化为影响力数据。用他们的话说,这是一条“改进的三角测量”的道路。(报告指出:“受直接收集结果数据相关的资源限制......突出了一个机会,即扩大行业的能力,利用有证据支持的分析和研究方法,根据成套的产出,对结果进行三角测量分析。”)


同样,TPG Rise Fund的IMM方法,正如《哈佛商业评论》(Harvard Business Review)2019年的一篇文章所解释的那样,立足于将运营指标与“验证它们是可实现和可衡量的现有研究”进行三角测量。


我们对三角测量法的担忧是,从根本上来说它与发现作为影响力表现核心的差异化相抵触。


再次想象一下两个在乌干达经营的贷款公司。两家公司都有类似的书面政策、听起来相似的产品,以及大致相同规模的客户基础。现在想象一下,这其中一个组织里,有一位经常骚扰客户、在COVID-19期间未支付假期并且不遵守其组织的书面政策和程序的贷款官员。再好的三角测量法也无法发现这两个组织的客户经历的差异,以及由此产生的客户储蓄、收入、还款率、家庭性别动态和孩子教育成果的差异。







如果三角测量法不能发现书面政策和实际行为之间的明显差距,我们为什么要把它作为理解影响力表现的核心途径?


我们不应该这样做。


影响力三角测量法就其本质而言是自我限制的,是一条死胡同,而不是通往影响力表现的入口。影响力三角测量法假定所服务的客户只是所服务的客户,并且在一个(或五个)类似组织的研究中发现的影响力是普遍的。如果改变人们的生活是如此简单就好了!


我们的目标应该是直接去找这些致力于创造更好结果的企业的利益相关者,而且很简单,问他们这些结果是否正在发生。即使这些数据并不完美,即使自我报告的数据往往是主观的,但肯定的是,询问并获得数据比根本不问要好。









影响力测量的创新

Impact Measurement Innovations



好消息是,我们正生活在一个大规模加速和创新的时期,一些世界领先的影响力投资者和社会企业收集受益者层面的结果数据。Flourish Ventures、Omidyar Network India、Global Partnerships、REGMIFA、BRAC、洛克菲勒基金会(the Rockefeller Foundation)、Ceniarth和Solar Sister最近都分享了他们收集客户层面数据的经验。


与此类似,去年我们60 Decibels出版了一份《为什么离网能源很重要》(Why Off-Grid Energy Matters)的报告,其中包括对59家离网能源公司的影响力表现的真实排名,与影响力管理项目(IMP)保持一致,所有这些都是基于他们的客户对他们所经历的影响力的评价。


或者,对于一个特别具有时间敏感性的例子,思考理解全球范围内COVID-19的影响的重要性。很明显,人们无法通过任何形式的三角测量法来评估这一点。然而,通过直接询问32个国家的52,000多名客户,60 Decibels从2020年4月到12月,已经得到了关于COVID-19如何影响人们生活的详细和有区别的理解。当然,如果我们能在全球疫情大流行期间每月获得这些数据,那么我们的部门一定有办法在情况更平稳的时候收集这些数据。











更高的标准

A Higher Standard



2001年,也就是20年前,杰德·艾默生有句著名的调侃。“我们资助无尽的研究,引导我们走向一个模糊的真理。但答案仍然是:我们根本不知道。相反,我们创造的往往是一种集体欺骗的把戏,资助者被告知他们喜欢听的东西,而受资助者则被免除了对其努力的真正责任。”





太多的影响力资本和太多的努力被用来满足于对影响力表现的模糊估计。我们对影响力投资所服务的人群有责任超越“可能的结果”和三角测量的产出数据,努力实现影响力绩效。


事实上,如果我们同意我们的工作是关于这些客户的,那么每当关于他们的生活和福祉的报告中没有他们的声音时,我们就必须集体喊冤。


没有他们的直接反馈,这些报告悄悄地加强了错误的、普遍的逻辑,即在不直接听取客户意见的情况下,就可以断言自己在面向客户的投资中产生了影响。






我们为什么还在这样做?与其参与这种同样的欺骗之舞,不如让我们合意,现在是离开这个被玷污的舞池的时候了。





 

前进的道路

The Way Forward



为了共同提高,我们提出以下三点建议。


1. 对那些不允许你评估表现的“影响力表现”报告要保持警惕。“表现”意味着有些组织做得更好,有些做得更差。有领先者,也有落后者。如果你的表现评估方法不允许你以这种方式进行区分,那么,很简单,这不是一个表现评估。


2. 你的数据来源要透明。所有的影响力报告都应该清楚地表明在哪些地方有结果数据,哪些地方没有结果数据,并解释哪些地方的结果数据是基于直接收集的数据,而不是“影响力数学”。每当我们模糊了运营指标和从利益相关方收集的结果数据之间的界限时,这个领域就会退步。如果我们作为影响力投资者真正关心客户,并相信对客户生活的影响与对股东的回报一样重要,那么我们的目标必须是在评估影响时直接听取这些客户的意见。


3. 影响力的衡量方式和管理对话必须优先考虑结果数据。在此之前,以大数字为特色的光鲜报告来包装和重新包装产出,将仍是是一种负担和徒劳。在最好的情况下,这些基于产出的报告有助于证明投资决策的合理性并吸引更多的资本。在最坏的情况下,它们延续了欺骗的舞步,牺牲了对为客户创造更好结果的学习过程。

 

现在是时候了,我们应该拒绝“影响力现数据不存在”的前提,因为它确实存在,而且数量很多。我们可以做得更好,而不是在我们的行业中持续太久的常见的、有害的欺骗行为:不报告影响力的影响力报告,以及不告诉我们任何关于表现的表现报告。




萨沙·迪克特是60 Decibels的联合创始人。在加入60 Decibels之前,萨沙在Acumen公司工作了12年,先是担任业务发展总监,然后是首席创新官,他帮助创建了Lean Data和+Acumen,并领导Acumen研究员计划(Acumen Fellows Program)。


汤姆·亚当斯是60 Decibels的联合创始人。在60Decibels之前,汤姆是Acumen公司的首席影响官,在此之前,他在埃塞俄比亚和尼日利亚为国际发展部(Department for International Development)工作。


林赛·斯莫林是60 Decibels的美国销售主管。她曾担任世界知名的社会企业投资召集人SOCAP的首席执行官,以及ImpactAssets的战略倡议官。


德文·奥尔马克是60 Decibels的一名高级助理。她曾在美国和平研究所和DAI工作,并曾在厄瓜多尔担任和平队志愿者。


推荐阅读

往期回顾


再谈“测量与评估”:永难完美,但总可改进 

如何测量社会变革?

用好数据,得先建立“数据文化”




您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存